Intelligence artificielle, les chatbots gangrenés par les cybercriminels

DarkGPT, EscapeGPT, WormGPT, WolfGPT, EvilGPT, DarkBARD, BadGPT, FreedomGPT… ces noms ne vous disent sans doute rien, mais leurs suffixes peuvent vous mettre sur la voie. Ce sont des chatbots, comme ChatGPT ou Bard, mais développés par l’industrie du crime organisé, capable de coder des virus informatiques, d’écrire des e-mails d’hameçonnage, de bâtir un faux site Web, de scanner les vulnérabilités informatiques d’un site pour l’attaquer…

Le 6 janvier, une équipe de l’université de l’Indiana à Bloomington a réalisé la première plongée du côté obscur de l’intelligence artificielle (IA). L’une des autrices, Xiaojing Liao, a baptisé « Malla » pour « malicious LLM applications » (ou applications malveillantes des grands modèles de langues) tous ces programmes et services. « Nous en avons identifié 212 entre février et septembre 2023, mais nous voyons que cela continue de croître », indique-t-elle.

« Nous avons l’habitude de ce genre de “jeu”. Le terrain a simplement changé. Avant c’était le Web puis les mobiles, puis le Cloud…, précise XiaoFeng Wang, autre coauteur. Notre étude montre qu’on n’a plus besoin d’être un grand programmeur pour faire mal, par des virus, du phishing… On a juste à utiliser ces services. » Ces derniers sont, en outre, selon les chercheurs, moins chers (entre 5 et 199 dollars, soit de 4,60 à 184 euros environ) que ceux existant avant l’IA, 399 dollars en moyenne. Tout en restant lucratifs. L’analyse des échanges de bitcoins pour la plate-forme WormGPT, spécialisée dans les virus et les e-mails d’hameçonnage (fermée désormais), a révélé un revenu de 28 000 dollars en trois mois d’activité.

Poussant le professionnalisme très loin, l’équipe s’est penchée aussi sur la fiabilité de ces programmes et les résultats ne sont pas si mauvais : les virus, les e-mails et les sites proposés obtiennent de très bons scores à des tests d’« efficacité », même si la qualité est variable entre tous ces services.

Mauvaise surprise

L’article montre également les diverses méthodes utilisées par les cybercriminels. Soit ils font appel à des modèles de langues open source (aux paramètres accessibles), qu’ils peaufinent afin de les spécialiser pour les tâches malveillantes. Soit ils contournent les protections des services commerciaux.

Dans le premier cas, l’avantage est que ces programmes n’ont pas de filtres et d’interdits, et qu’ils peuvent être entraînés avec n’importe quel contenu. Ainsi Pygmallion-13B, basé sur Llama-13b de Meta, a été entraîné pour générer du contenu offensant et violent. Davinci-002 et Davinci-003 d’OpenAI, précurseurs des modèles à la base de ChatGPT, ont aussi servi pour des virus et du phishing.

Il vous reste 35% de cet article à lire. La suite est réservée aux abonnés.